Baker được tìm thấy năm 1818 bởi thuyền trưởng Elisha Folger của tàu săn cá voi tên Equator, vì ông sống tại đảo Nantucket (cảng cá voi hàng đầu thế giới xưa kia) ông gọi nó là "Tân Nantucket". Tháng 8 năm 1825 đảo Baker lại được thấy bởi thuyền trưởng Obed Starbuck của tàu Loper, cũng là người săn cá voi của Nantucket. Nhưng tên của đảo là được đặt theo Michael Baker, người đã thăm viếng đảo năm 1834[1].

Hoa Kỳ chiếm giữ đảo năm 1857, tuyên bố chủ quyền bằng Đạo luật Đảo Phân chim năm 1856[2]. Anh cũng tuyên bố chủ quyền đối với đảo này sau đó nhưng nó không có giá trị vì Hoa Kỳ đã đưa ra tuyên bố chủ quyền sớm hơn. Các công ty Mỹ và Anh khai thác phân chim ở đây suốt nửa sau của thế kỷ 19. Năm 1935, công cuộc thuộc địa hóa bắt đầu ở đây và đảo Howland lân cận nhưng chỉ tồn tại một thời gian ngắn. Khu định cư Meyerton có số dân bốn người Mỹ dân sự được di tản năm 1942 sau các cộng tấn công bằng hải và không quân của Nhật Bản. Trong thời Chiến tranh thế giới thứ hai quân đội Mỹ chiếm đóng đảo.

Sau chiến tranh, Baker không có người ở. Vào đảo cần có giấy phép sử dụng đặc biệt của Cục Bảo vệ Cá và Hoang dã Hoa Kỳ và chỉ dành riêng cho các khoa học gia và các nhà giáo dục mà thôi.